content
- 線形回帰モデル
- 回帰モデルにおけるベイズ推定
- モデル選択
ベイズ統計学勉強会 夏`22
安藤 正和
⇨所与の年齢と運動療法のもとで酸素摂取量の条件付き分布を推定したい
条件付き分布\(p(y|x)\)が\(x\)の関数として滑らかに変化すると仮定
得られた\(x\)のデータから他の値の情報を得る
条件付き平均\(E[Y|x]\)はパラメータに関して線形であると定める
\[ \int yp(y|\boldsymbol{x})dy = E[Y|\boldsymbol{x}]=\beta_1x_1+...+\beta_px_p=\boldsymbol{\beta}^T\boldsymbol{x} \]
\[ Y_i = \beta_1x_{i,1}+\beta_2x_{i,2}+\beta_3x_{i,3}+\beta_4x_{i,4}+\epsilon_i\tag{9.1} \]
今回のモデルでの\(Y\)の条件付き期待値は、\(x_{i,2}\)のとりうる値によって次のようになる
\[ E[Y|\boldsymbol{x}] = \beta_1+\beta_3\times年齢(x_2=0の場合)\\ E[Y|\boldsymbol{x}] = (\beta_1+\beta_2)+(\beta_3+\beta_4)\times年齢(x_2=1の場合) \]
年齢との線形関係は運動療法のグループ間で切片と傾きの違いがあることが仮定
\[ \epsilon_1,...,\epsilon_n\sim \mathrm{i.i.d. normal}(0,\sigma^2)\\ Y_i=\boldsymbol{\beta}^T\boldsymbol{x}_i+\epsilon_i \]
→\(\boldsymbol{x}_i,\boldsymbol{\beta},\sigma^2\)で条件づけたもとで観測データ\(y_1,...y_n\)の同時分布を完全に特定する
同時確率密度は式(9.2)で書ける
\[ p(y_1,...,y_n|\boldsymbol{x}_1,...,\boldsymbol{x}_n,\boldsymbol{\beta},\sigma^2)\tag{9.2}\\ \]
\[ =\Pi_{i=1}^n p(y_i|\boldsymbol{x}_i,\boldsymbol{\beta},\sigma^2)\\ =(2\pi\sigma^2)^{-n/2}\mathrm{exp}\{-\frac{1}{2\sigma^2}\sum_{i=1}^n(y_i-\boldsymbol{\beta}^T\boldsymbol{x}_i)^2\}\tag{9.3} \]
この同時確率密度は多変量正規分布を用いて書ける
\[ \{\boldsymbol{y}|\boldsymbol{X},\boldsymbol{\beta},\sigma^2\}\sim \mathrm{multivariate\ normal}(\boldsymbol{X\beta},\sigma^2\mathrm{\boldsymbol{I}}) \]
\(\boldsymbol{X\beta}\)は以下で示せる
\[ \boldsymbol{X\beta}=\begin{pmatrix}x_1\rightarrow \\ x_2 \rightarrow\\ \vdots \\ x_n \rightarrow\end{pmatrix} \begin{pmatrix}\beta_1 \\ \beta_2\\ \vdots \\ \beta_p\end{pmatrix} =\begin{pmatrix}\beta_1x_{1,1}+\dots\beta_px_{1,p} \\ \vdots \\ \beta_px_{n,1}\dots\beta_px_{n,p}\end{pmatrix} =\begin{pmatrix}\mathrm{E}[Y_1|\boldsymbol{\beta},\boldsymbol{x}_1]\\ \vdots \\ \mathrm{E}[Y_n|\boldsymbol{\beta},\boldsymbol{x}_n]\end{pmatrix} \]
\[ (2\pi\sigma^2)^{-n/2}\mathrm{exp}\{-\frac{1}{2\sigma^2}\sum_{i=1}^n(y_i-\boldsymbol{\beta}^T\boldsymbol{x}_i)^2\}\tag{9.3} \]
式(9.3)の密度は残差\((y_i-\boldsymbol{\beta}^T\boldsymbol{x}_i)\)を通じて\(\boldsymbol{\beta}\)に依存している
観測されたデータを所与とすると、残差平方和\(\mathrm{SSR(\boldsymbol{\beta})}=\sum_{i=1}^n(y_i-\boldsymbol{\beta}^T\boldsymbol{x}_i)^2\)を最小にすることで尤度が最大になる
残差平方和を最小にするには微分する
\[ \mathrm{SSR(\boldsymbol{\beta})}=\sum_{i=1}^n(y_i-\boldsymbol{\beta}^T\boldsymbol{x}_i)^2=(\boldsymbol{y}-\boldsymbol{X\beta})^T(\boldsymbol{y}-\boldsymbol{X\beta})\\ =\boldsymbol{y}^T\boldsymbol{y}-2\boldsymbol{\beta}^T\boldsymbol{X}^T\boldsymbol{y}+{\beta}^T\boldsymbol{X}^T{X}\boldsymbol{\beta} \]
\[ \frac{d}{d\boldsymbol{\beta}}\mathrm{SSR}(\boldsymbol{\beta})=\frac{d}{d\boldsymbol{\beta}}(\boldsymbol{y}^T\boldsymbol{y}-2\boldsymbol{\beta}^T\boldsymbol{X}^T\boldsymbol{y}+{\beta}^T\boldsymbol{X}^T{X}\boldsymbol{\beta})\\ =-2\boldsymbol{X}^T\boldsymbol{y}+-2\boldsymbol{X}^T\boldsymbol{X}\boldsymbol{\beta} \]
\[ \frac{d}{d\boldsymbol{\beta}}\mathrm{SSR}(\boldsymbol{\beta})=0\Leftrightarrow2\boldsymbol{X}^T\boldsymbol{y}+-2\boldsymbol{X}^T\boldsymbol{X}\boldsymbol{\beta}=0\\ \Leftrightarrow \boldsymbol{X}^T\boldsymbol{X}\boldsymbol{\beta}=\boldsymbol{X}^T\boldsymbol{y}\\ \Leftrightarrow \boldsymbol{\beta}=(\boldsymbol{X}^T\boldsymbol{X})^{-1}\boldsymbol{X}^T\boldsymbol{y} \]
ベイズ統計学勉強会 夏`22